Over de concrete uitbouw van het kasteel is weinig geweten. Vermoedelijk in de 13de eeuw schonk de hertog van Brabant de heerlijkheid Vorselaar aan de familie van Rotselaer om de handelsroute Antwerpen-Keulen, en de bevolking van de heerlijkheid te beschermen voor invallen van buitenaf.
De familie van Rotselaar bouwde een burcht met donjon, omringd door water. Na de inval van de Noormannen in onze streken rees immers de betrachting om plunderingen in de toekomst tevoorkomen. Tot in het begin van de 16de eeuw bleef het kasteel in handen van de heren van Rotselaar.
Daarna kwam het door huwelijk en overerving beurtelings over in de handen van Michel de Croy, Cornelis de Bergeus (prins-bisschop van Luik) en diens schoonbroer Jean de Ligne. Na de dood van zijn eerste vrouw hertrouwde deze met Margareta van Arenberg, wiens prinselijke familie in bezit bleef van het domein en kasteel tot de verkoop ervan aan Jan Proost in 1663. Ten tijde van Jan Proost en de latere eigenaars, waaronder vooral Filip de Werve, onderging het kasteel ingrijpende wijzigingen. Het kasteel heeft daaraan zijn huidig voorkomen te danken.
Sinds 1911 is het kasteel in het bezit gekomen van de familie de Borrekens, om enkele jaren geleden in erfpacht te zijn gegeven aan een vennootschap.